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摘 要 : 在 大 数据 复杂 应 用 中 会 出 现 多 种 计算 模式 混合 的 作业 ， 因 此 虚拟 集群 需要 维持 多 种 计算 模式 的 形态 进行 计 
算 。 针 对 计算 负载 的 时 变性 和 复杂 性 导致 讶 拟 集群 的 资源 利用 率 不 高 的 问题 ， 为 提高 虚拟 集群 资源 的 全 局 利用 率 ， 
采用 弹性 资源 管理 策略 来 吸收 多 种 计算 模式 混杂 时 的 资源 需求 突变 ,在 Docker 容器 技术 的 支持 下 提出 一 个 根据 作业 
需求 变化 的 动态 部 署 模型 。 该 模型 根据 资源 的 动态 需求 变化 ， 实 时 调整 虚拟 集群 的 计算 形态 ， 具 体 包括 计算 节点 的 
类 型 及 规模 。 该 模型 不 仅 实现 用 户 作 业 执行 环境 的 动态 定制 ， 而 且 达 到 错 峰 计算 的 目的 。 仿 真实 验 表明 ， 该 模型 使 
得 虚拟 节点 CPU 利用 率 提 升 5.3%， 并 且 优 化 了 计算 作业 的 执行 效率 。 该 动态 部 署 模型 适合 应 用 到 数据 中 心 或 大 规 
模 集 群 中 ， 能 够 有 效 提高 计算 资源 的 利用 率 。 
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Abstract: There are an amount of computing jobs with multiple computing modes in complex application scenarios. The 
Virtual cluster needs to maintain different computing modes for the large-scale data computing jobs. To deal with the low 
resource utilization of virtual cluster due to the time-varying and complexity of workloads, this paper used the flexible 
resource management strategy to improve the global resource utilization of virtual cluster and absorb the mutation of 
resource demand when multiple computing modes are mixed. This paper proposed a novel dynamic deployment model 
based on Docker. According to the dynamic demand of workloads, this model can change the computing form of virtual 
cluster in real time. Its computing form includes the node type and cluster size. This dynamic deployment model not only 
realizes the dynamic customization of job execution environment, but also achieves the purpose of virtual cluster peak 
calculation. Simulation experiments show that this model can improve the virtual node CPU utilization by 5.3% and 
improve the task execution efficiency. This model is suitable for data centers or large-scale clusters to improve the 


utilization of computing resources. 
Key words: virtual cluster; dynamic deployment; large-scale complex applications; Docker container 


0 ”引言 应 用 场景 , 包含 以 MapReduce 批 处 理 和 其 扩展 形式 的 多 种 计 
SY 算 ， 甚 至 多 种 计算 模式 的 组 合 。 另 一 方面 ， 在 处 理 大 数据 复 

大 数据 分 析 和 实时 查询 是 一 种 复杂 的 计算 场景 ,其 中 会 ”和 杂 应 用 的 大 规模 集群 或 者 云 环境 中 ， 虚 拟 技术 是 解决 物理 资 

出 现 大 量 的 离线 分 析 或 者 在 线 查询 作业 ， 这 类 作业 可 能 包括 源 利 用 率 低 的 有 效 途径 。 然 而 虚拟 计算 环境 的 资源 利 
以 MapReduce 为 主 的 多 种 计算 模式 ( 批 处 理 、 流 计 J 存 ， 仅 维持 在 10%~17% 之 间 叫 ,因此 虚拟 计算 环境 的 资源 利用 尚 


庶 


V 
流 
- 


计算 、 图 计算 等 )。 MapReduce 是 谷歌 提出 的 一 种 经 典 的 分 布 旦 存在 较 大 的 优化 空间 。 
式 并 行 处 理 计算 范式 ， 分 成 Map 任务 分 发 和 Reduce 结果 收 前 轻 量 级 容器 Docker 技术 逐渐 成 熟 , 开始 成 为 部 署 虚 
集 两 个 阶段 -MapReduce 的 设计 初衷 是 针对 批 处 理 计算 模式 ， 拟 集群 和 云 环境 的 重要 工具 B]。 轻 量 级 容器 比 传统 虚拟 机 的 
适合 处 理 离 线 吞 吐 量 敏 感 的 计算 作业 。 随 着 应 用 的 发 展 而 扩 性 能 损失 小 且 启 动 速度 快 夫 ， 适 合 在 大 数据 复杂 计算 场景 中 
展 出 流 计算 、 内 存 计算 、 图 计算 和 交互 计算 等 模式 。 将 实施 应 用 。 由 于 大 数据 计算 是 计算 资源 密集 型 的 作业 ， 所 以 
MapReduce 的 中 间 结 果 暂 存 到 内 存 中 则 是 内 存 计算 ， 适 合 处 通过 轻 量 级 容器 技术 能 够 提高 计算 资源 的 利用 率 和 性 能 。 本 
蛙 包 含 大 量 迭 代 的 计算 作业 ; 流 计算 需要 实时 处 理 连续 数据 文 针 对 大 数据 复杂 应 用 环境 中 ， 虚 拟 集群 静态 部 署 方 案 资 源 
流 ， 将 无 界 数据 流 划 分 成 固定 大 小 的 有 界 批 处 理子 集 ， 图 计 利用 率 低 的 问题 ， 提 出 一 种 可 调整 虚拟 集群 计算 形态 的 动态 
算 可 转换 成 有 依赖 关系 的 多 个 子 任务 的 MapReduce 和 迭代 计 部 署 方案 。 根 据 计 算 负 载 的 变化 来 优化 虚拟 计算 节点 的 类 型 
算 形式 由。 总 之 ， 大 数据 分 析 和 实时 查询 是 一 个 复杂 的 计算 和 规模 ， 实 现 作 业 执 行 环境 动态 定制 的 功能 ， 优 化 虚拟 集群 
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虚拟 机 的 部 署 是 根 
的 物理 服务 器 中 ， 并 且 为 用 
部 署 和 迁移 一 直 是 研究 热点 ， 
性 能 仿真 研究 。 为 了 


的 虚拟 机 
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惯性 


根据 未 来 一 段 


规划 CPU 和 内 存 


时 间 内 虚拟 机 需求 增 


仿真 结果 表明 该 模型 能 够 有 效 减 
。 在 网 络 带宽 资源 优化 方 


田 ， 针对 


数据 中 心 光电 网 络 体系 的 特点 ， 设 计 优 化 子 图 嵌入 算法 ， 通 
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规模 数 


能 耗 与 处 理 器 利 ) 
机 迁移 到 负载 适 


在 计 


日 
En 


中 心 能 耗 ， 
率 


的 质 
再 调度 和 迁移 ， 提 高 数据 中 心 整 
计算 任务 的 性 能 局。 


的 线 折 


期 性 


资源 重 配 


比 。 
P 心 带宽 分 配 拒绝 率 ， 提 高 网 络 
虚拟 机 在 CPU、 内 存 和 网 络 资源 的 


仿真 实验 表明 该 


方案 。 通 过 适当 的 


体 的 


网 络 通信 效率 和 
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Swarm 
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程序 提供 


的 基础 


上 弹性 管理 


Roboconf、 


Heat、 


从 研究 方法 的 角 


属于 理论 
性 能 表现 也 不 相同 ; 此 外 商业 级 的 容器 编排 系统 有 


究 型 的 原型 


CloudFormation、 


Terraforml!!]。 


度 而 


究 方 
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机 部 署 算法 。 利 用 
FE 关系 ， 将 负载 过 重 或 过 轻 的 虚拟 
EE 机上。 仿真 结果 表明 ， 在 
降低 数据 中 心 能 耗 [ 
而 进行 研究 。 在 Docker 上 的 EC4Docker 
可 定制 的 执行 环境 ， 该 系统 在 Docker 
虚拟 节点 B]。 轻 量 级 容器 编排 原型 
SALSA、GRyCAP、Occopus。 上 述 系统 
系统， 具有 各 自 的 编排 语言 和 规则 ， 


国外 


田 ， 为 


保证 服务 
的 研究 者 多 数 从 


Cloudify、 


言 ， 通 过 预测 计算 负载 的 变化 实现 


高 时 延 ， 


虚拟 节点 部 署 是 一 种 有 效 ， 
提出 一 种 基于 ARIMA 模型 和 
预测 及 资源 估算 方法 ， 短 
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思路 。 为 了 改 


普 弹 性 云 环 境 部 署 的 


I 季节 指数 的 动态 负载 
上 用 计算 负载 与 虚拟 机 配置 的 关系 来 


计 一 种 改进 BP 凶 
拟 机 加 权 部 署 ， 使 虚拟 机 
表明 该 方案 提高 了 虚拟 机 部 署 的 稳定 性 031。 研 究 者 已 经 关注 
大 数据 计算 负载 的 研究 , Xavier 等 人 04 
的 容器 级 虚拟 集群 ， 发 现 基于 
据 计 算 中 有 较 好 的 1 


源 利用 率 低 
整 虚 拟 集群 的 计算 形态 。 
术 的 虚拟 集群 来 处 理 大 数据 复杂 应 月 
有 复杂 性 和 时 变 不 确定 性 。 动 态 则 
源 利用 率 ， 
2 问题 描述 

在 大 数据 计算 复杂 应 


成 多 个 子 集 ， 各 子 虚 拟 集群 执行 不 同 的 计算 模式 。 如 


占 算 虚 拟 机 需求 量 ， 
算 的 常规 应 用 场景 


从 而 完成 虚拟 机 间 


RR， 采 | 


生 能 表现 。 本 文 则 钊 


了 署 。 该 方案 针对 云 计 


粗 粒度 的 采样 频率 来 解决 细 
测 方案 的 不 稳定 性 02;， 为 提高 对 计算 负载 预测 的 ;# 
经 网 络 算法 预测 物 至 
[合理 的 映射 到 物理 机 


粒度 监 


作 确 性 ， 设 


节点 负载 ， 再 实施 虚 


FEF。 仿真 结果 


研究 MapReduce 计算 
轻 量 级 容器 的 虚拟 集群 在 大 数 
| 对 大 数据 复杂 应 用 场 
景 的 计算 负载 变化 ， 提 出 一 种 解决 轻 量 级 容器 静态 部 署 时 资 
的 动态 部 署 模型 ， 用 于 根据 计算 负载 的 变化 来 调 
主要 贡献 点 是 : 基于 轻 量 级 容器 技 
上 场景， 计算 负载 变化 
了 署 模型 提高 虚拟 节点 的 资 
且 可 实现 计算 作业 执行 环境 的 可 定制 功能 。 
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示 ， 在 一 个 虚拟 集群 中 存在 批 
逻辑 上 的 子 集群 


多 个 阶段 的 不 同 计算 模式 才能 完成 ， 
经 过 批 处 理 、 内 存 计算 和 流 计算 三 利 
阶段 虚拟 子 集群 要 保持 满 负 蓓 状态 运行 ， 必 然 会 浪费 大 量 计 
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处 理 、 内 存 计 外 


在 各 子 集群 中 执行 相应 计算 模式 的 任务 。 
对 于 计算 作业 的 执行 存在 以 下 两 种 情况 :a) 单个 作业 要 经 过 


和 | 流 计算 三 个 


如 图 


1 所 示 ， 一 个 作 、 
计算 模式 的 处 理 ， 在 各 


算 资源 ; b) 在 多 租户 场景 中 处 理 多 个 作业 时 ， 
现 单个 子 集群 高 负载 运行 的 现象 ， 而 其 他 子 鲁 


态 运行 ， 因 此 要 浪费 大 量 虚拟 计算 资源 。 


虚拟 集群 会 出 
群 以 低 负载 状 
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态 即 运行 
集群 基础 上 创建 虚拟 集群 ,为 
处 理 、 


图 1 复杂 作业 的 不 同 计算 阶段 的 应 


场景 


Fig.1 Complex job application scenario with different stages 


为 了 
一 个 虚拟 集群 动态 部 署 模 型 。 
计算 模式 的 子 集群 ， 改 变 虚拟 集群 的 计算 形态 。 
规模 。 如 图 2 所 示 ， 在 物理 


后 释放 
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虚拟 节点 。 


提高 虚拟 集群 的 资源 利 


] 率 ， 在 此 应 | 
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计算 形 
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虚拟 集群 生成 特 


定 计算 模式 ( 批 


年 计算 、 流 计算 、 


图 计算 等 


3.1 


下 ={mr,s,m,q} 表示 计算 模式 外 
m 表示 内 存 计算 ，s 表示 流 计算 ，9 表示 
作业 的 计算 模式 序列 ，VM 表示 虚拟 集群 ， 虚 拟 集群 的 重要 
是 节点 类 型 和 规模 。 例 如 ， 一 个 大 数据 作业 集合 7 = 
<.1.7,…wJm>, 计 算 模式 序列 矩阵 如 式 1 


属 局 


物理 集群 
图 2 虚拟 集群 动态 部 署 示意 
Fig.2 Virtual cluster dynamic deployment 


虚拟 集群 部 署 模型 


模型 的 形式 化 表示 
虚拟 集群 部 署 模型 由 一 个 七 元 组 表示 
DM =<J,,LVM,E,R,f>, 其 中: J 为 大 数据 作业 集合 ; 


虚 扫 


依 和 # 


) 的 子 集群 ， 执 行 完 毕 


diagram 


状 合 ; { mr 表示 MapReduce 模式 ， 


多 


节点 的 需求 矩阵 如 式 2 所 示 。 


mr s mr m0..0 


mr m s mr0..0 
二 

i 0 

mr s mr dg 0..0 
100 50 20 100...0 
50 5 60 100...0 

VM = 

20 5 8 500..0 


居 式 〈1 ) (2 )， 综 合 两 个 外 


计算 }; 工 表示 一 个 


所 示 , 对 各 种 主题 计算 


(1) 


GO) 


E 阵 的 第 一 行 元 素 Du VMDn 
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业 资 源 需 求 模板 的 形式 化 表示 方法 。 一 个 大 数据 计算 作业 在 
计算 过 程 中 分 成 多 个 阶段 ， 资 源 需求 是 在 各 阶段 需要 的 资源 
类 型 及 规模 。 例 如 ， 一 个 轨迹 大 数据 的 相似 性 查询 运算 ， 要 
经 历 批 处 理 计 算 、 流 计算 、 图 计算 、 批 处 理 四 个 阶段 ， 需 要 
相应 节点 数量 为 (10,5,3,12)。 计 算 作业 资源 需求 模板 的 基本 语 
义 要 素 如 表 1 所 示 。CPU 类 型 属性 可 适应 不 同 计算 模 式 的 变 
化 ， 根 据 该 属性 来 确定 不 同 计算 模式 的 虚拟 子 集群 ，CPU、 
内 存 和 输入 数据 规模 用 细 粒 度量 化 方式 , 而 磁盘 、 网 络 带宽 、 
优先 级 等 数据 用 粗 粒 度 的 等 级 值 。 在 作业 资源 模板 上 通过 资 
源 需求 参数 来 量化 作业 的 需求 信息 。 用 户 提交 作业 时 填写 作 
业 基 本 信息 ， 再 由 资源 调度 来 预测 作业 信息 ， 并 且 形 成 作业 
的 资源 需求 模板 ， 计 算 作 业 的 资源 需求 模板 采用 XML 文件 
来 表示 。 


表 1 计算 作业 资源 需求 模板 
Table ] Requirement template of computing jobs 
资源 属性 属性 参数 注释 
CPU _ Type CPU==mrllmllsllg CPU 核 的 计算 模型 
RE 对 CPU 和 内 存 的 需求 
Memory==2GB 
Disk_IO medium 磁盘 的 需求 ， 分 成 3 个 等 级 
NetWork High 网 络 的 需求 ， 分 成 3 个 等 级 
Input Data Size 200GB 输入 数据 的 实际 规模 
Priority low 优先 级 分 高 和 低 两 个 等 级 


3.3 动态 部 署 机 制 

采用 部 署 事件 触发 部 署 规则 的 机 制 来 实现 动态 部 署 。 触 
发 事件 集 E={e1,ez,.…,@} 包 括 集 群 性 能 和 环境 事件 两 种 类 型 。 
部 署 规则 集 R={r1,r2,…,rm} 中 蕴涵 专家 知识 的 规则 , 该 规则 实 
现 虚拟 节点 的 增加 、 删 除 、 蔡 换 和 更 新 操作 。 虚 拟 集群 的 动 
态 部 署 机 制 是 触发 事件 集 与 部 署 规 则 集 的 函数 映射 , 如 式 (3) 
所 示 。 


f :{E—»>R} G3) 
设 第 i 时 刻 计算 作 业 的 资源 需求 为 Rqi， 虚 拟 集 群 为 


VCF{VC™,VC™,VC%,VC%}， 其 中 虚拟 集群 根据 批 处 理 计算 、 


内 存 计算 、 流 计算 和 图 计算 分 成 四 个 不 同 的 计算 主题 。 触 发 
事件 为 E 二 {el,e2,…,ek}， 部 署 规则 为 R 二 {1,72)…rm}， 则 第 计 1 


个 时 刻 后 经 过 动态 部 署 执行 虚拟 集群 为 VChri={VCm in,VC™ 
HDVCsiHDVCqirl}。 


3.3.1 触发 事件 
触发 事件 是 启动 虚拟 集群 重新 优化 部 署 的 先决 条 件 。 触 
发 事件 由 底层 信号 和 相应 阔 值 构成 。 信 和 号 分 为 计算 资源 监控 
和 作业 资源 需求 信号 两 部 分 。 计 算 资 源 监控 信号 有 CPU、 内 
存 、 磁 盘 和 网 络 利用 率 。 作 业 资 源 需 求 信号 是 通过 解析 某 一 
时 刻 所 有 作业 需求 模板 的 数据 获得 ， 包 括 对 各 种 计算 模式 处 
理 器 的 需求 量 、 内 存 、 磁 盘 和 网 络 资源 的 需求 。 针 对 每 种 信 
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可 表示 作业 九 依 次 使 用 100 个 MapReduce 节点 ，50 个 流 计 号 通过 人 工 经 验 来 设置 相应 阔 值 ， 以 此 产生 触发 事件 ， 如 表 
算 节 点 ，20 个 MapReduce 节点 和 10 个 内 存 计算 节点 才能 完 2 所 示 。 
成 计算 。 表 2 触发 事件 
3.2 ”作业 资源 需求 模板 Table 2 Trigger event 
为 了 实现 虚拟 集群 的 动态 部 署 模型 ， 先 要 掌握 当前 时 刻 事件 事件 内 容 注释 
计算 作业 对 资源 的 需求 ， 本 文 不 详细 讨论 数据 中 心计 算 资源 el Resource req> & 当前 资源 需求 超过 上 限 阔 值 时 增加 节点 ; 
预测 问题 。 假 设 待 处 理 作 业 集 的 类 型 已 知 而 且 数据 规模 不 确 e Resource req< 人 当前 资源 需求 低 于 下 限 阔 值 时 减少 节点 
定 ， 已 知 类 型 作业 的 资源 需求 可 预测 、 可 量化 。 解 决 计 算 作 当 四 种 不 同 主题 集群 的 CPU 数量 和 
业 资 源 需求 的 思路 是 利用 历史 数据 实现 作业 分 类 ， 根 据 作 业 @3 ycpu -ycpu_Red 当前 CPU 数量 相等 时 更 新 各 主题 集群 的 
类 型 和 数据 规模 来 预测 未 来 作业 的 资源 需求 量 ， 然 后 实时 调 节点 规模 和 配置 ; 
整 虚 拟 集群 的 部 署 方案 。 es Resource 利用 率 < 8 当前 硬件 资源 利用 率 低 于 下 限 阔 值 时 挂 起 节点 
为 了 实现 计算 作业 的 类 型 预测 和 资源 需求 量化 ， 采 用 作 es Resource 利用 率 > 所 ”当前 硬件 资源 利用 率 超过 上 限 阔 值 时 唤醒 节点 


3.3.2 部 署 规则 


部 署 规则 在 逻辑 上 主要 分 成 虚拟 节点 状态 管理 、 节 点 管 
理 和 集群 管理 三 部 分 ， 如 表 3 所 示 。 节 点 状态 管理 负责 虚拟 
集群 中 各 节点 的 状态 调整 ， 如 创建 、 启 动 和 关闭 等 ， 节 点 管 
理 负责 管理 集群 中 节点 的 配置 和 规模 ， 集 群 管理 负责 管理 各 
种 计算 模式 子 集群 的 状态 和 配置 。 
表 3 部 署 规则 列表 
Table 3 Deployment rule 
类 型 规则 例如 注释 
启动 节点 Start(VMi,...VMs) 启动 满足 条 件 的 节点 
关闭 节点 Close(VMi,...VMn) 关闭 满足 条 件 的 节点 
状态 管理 ” 挂 起 节点 Suspend(VMi,...VMs) 挂 起 满足 条 件 的 节点 
可 复 节 点 Restore(VMi5VMm) 恢复 满足 条 件 的 节点 
迁移 节点 Migrate(VMi,...V Mn) 迁移 满足 条 件 的 节点 
添加 节点 Add(VMi5VMm) 添加 特定 配置 节点 
配置 管理 删除 节点 Del(VMi,...VM") 删除 特定 配置 节点 
更 新 节点 Update(VMiVMm) 更 新 特定 配置 节点 
六 二 辣 通 加 入 分 组 ”AddGroup(VMP5VMn VC) 将 节点 加 入 特定 分 组 
移 除 分 组 ”DelGroup(VM;,..….VMs, VC) 将 节点 移 除 特定 分 组 


3.3.3 部 署 算法 


于 


{VCnri,VCniy VCsiy VCYi}; 
.初始 化 事件 队列 ， 添 加 启动 部 署 事件 ; 

. While E is not Empty Do 

. Collect Singles from {VC"™i,VC"™i, VCSi, VCi}; 

. 根据 监控 信号 生成 事件 ei， 各 种 事件 进入 事件 队列 E; 
.e = deQuery(E); 
. 检索 事件 一 规则 库 ， 生 成 具体 部 署 规则 ; 
.执行 部 署 规 则 ; 
. Endwhile 


DD oO J om uu Pw Nh 


分 成 计算 作业 需求 预测 、 


伯 集 与 规则 集 的 映射 生成 对 应 部 署 规则 ， 再 逐 
到 事件 队列 为 空 。 当 
。 该 算法 中 事件 与 规则 映射 集 


算法 -1 虚拟 集群 动态 部 署 算法 
初始 化 虚拟 集群 ， 为 各 主题 集群 部 署 适量 节点 


动态 部 署 算法 通过 循环 遍历 当前 事件 队列 ， 然 后 根据 
执行 部 署 直 

了 新 的 事件 加 入 事件 队列 后 继续 上 述 过 
XML 文件 来 存储 ， 可 实 


ee 


户 自 定义 新 的 部 署 规 则 。 
虚拟 动态 部 署 系统 设计 
虚拟 集群 动态 部 署 系统 结构 如 图 3 所 示 。 从 逻辑 上 主要 
触发 事件 和 动态 部 署 三 部 分 。 在 计 


算 作业 队列 中 提取 用 户 作业 ， 根 据 作 业 类 型 预测 填写 资源 需 


求 模板 信息 ， 


且 传 送 到 动态 部 署 模块 中 ， 分 布 式 采集 器 负 


责 收集 虚拟 集群 运行 时 的 各 种 状态 数据 ， 总 到 事件 发 


生 器 中 ， 结 合 事件 数据 库 来 产生 触发 事件 ; 


NA 


t 


E 


态 部 署 模 块 在 
1 作业 资源 需求 数据 、 的 创建 
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动态 部 署 计划 并 发 送 到 虚拟 集群 中 去 执行 ， 实 现 虚拟 节点 的 5 
增加 、 删 除 、 更 新 来 创建 一 个 最 优 的 计算 执行 环境 。 
全 | 
耕 
共 3 
人 
本 
1 
0 T T T T T T T T T T T T T T 
10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 
计 算 时 间 Wim 
(a) 负 载 WL_S 节点 调整 分 布 
图 3 系统 结构 示意 攻 (a) Node adjusting distribution of workloads WL S 
Fig.3 System architecture diagram 10 
4 ”实验 及 分 析 “ 
pl 
实验 目标 是 验证 动态 部 署 模型 的 有 效 性 和 资源 利用 率 的 a 
优化 效果 。 在 实验 硬件 方面 , 采用 Intel i7 8700CPU 六 核心 ， 地 
32 GB 内 存 的 64 位 机 器 搭建 16 个 节点 的 物理 集群 ， 每 个 物 网 “| 
理 机 运行 Linux3.10 内 核 的 Ubuntu Xenial 16.04。 每 个 物理 节 本 “| 
点 上 运行 Docker1.7.1 来 创建 虚拟 节点 , 同时 最 多 运行 3 个 虚 五 《| ? 
拟 容 器 ， 虚 拟 集 群 的 最 大 规模 为 48 个 节点 。 在 Docker 中 用 护 3] 
CPU-Share 比重 参数 将 6 个 CPU 核心 平均 分 给 3 个 虚拟 节点 ， 2 
即 每 个 Container 公平 使 用 2 个 物理 CPU 核心 。 在 实验 软件 1 
方面 ， 使 用 Docker Swarm 实现 容器 的 动态 管理 ， 将 系统 执 | 


CAdvisor 智能 记录 2 min 以 内 


CAdvisor 接口 的 时 序数 据 库 influxDB 保存 虚拟 集群 的 性 


行规 则 转换 为 Swarm 的 管理 脚本 并 且 执 行 。 其 次 , 选择 谷 部 
公司 的 开源 系统 CAdvisor 来 监控 


虚拟 集群 的 性 能 。 由 于 
的 性 能 数据 ， 因 此 使 用 文 持 
能 


在 计算 负载 方面 ， 由 于 没有 针对 性 的 计算 负载 ， 所 以 采 


计算 时 间 Wim 
(b) 负 载 WL_D 节点 调整 分 布 


10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 


(b) Node adjusting distribution of workloads WL S 


图 4 在 不 同 负载 下 动态 部 署 模型 节点 调整 


青 况 对 比 


Fig.4 Comparison of node adjusting with different workloads 


用 仿真 负载 来 模拟 多 个 计算 作业 实施 实验 。 由 Hadoop 完成 4 提供 了 动态 部 署 模 型 在 两 种 不 同 仿真 负载 运行 时 ， 
批 处 理 计 算 负 载 的 任务 ，Spark 完成 内 存 计 算 ，Spark ”虚拟 节点 的 状态 改变 次 数 及 对 应 的 计算 时 间 。 在 负载 WL_S 
Streaming 完成 流 计算 , Spark GraphX 完成 图 计算 的 仿真 负载 。 运行 时 ， 出现 了 四 次 虚拟 节点 状态 的 改变 ; 在 负载 WL_D 运 
预先 设置 四 种 计算 类 型 的 虚拟 节点 : Hadoop、Spark、Spark 行 时 出 现 了 大 量 的 虚拟 节点 改变 。 由 于 负载 WL S 是 根据 初 
Streaming 和 Spark GraphX 的 映像 文件 ， 在 动态 部 署 时 由 本 始 虚 拟 节点 的 比例 设 定 的 ， 虚 拟 集群 不 需要 调整 计算 形态 就 
地 直接 加 载 映 像 文 件 完成 相应 节点 的 创建 。 实 验 与 静态 部 署 能 够 较 好 的 完成 ， 由 负载 的 噪声 变化 引 了 四 次 调整 ， 在 模型 
方案 作为 基准 对 比 ， 简 记 为 SD (static deployment)， 所 提 动 的 可 接受 范围 内 , 然而 WL_D 由 于 改变 了 四 种 计算 模式 作业 
态 部 署 方案 简 记 为 DM。 融 态 虚 拟 集群 由 人 工 经 验 来 设置 各 的 比例 ，DM 从 开始 就 出 现 大 量 节 点 调整 事件 ， 而 且 每 批 作 
类 计算 节点 比例 为 4:3:3:2， 即 16 批 处 理 计 算 节 点 ，12 个 内 业 计 算 结束 后 也 会 发 生 部 分 节点 的 调整 事件 。 图 4(b) 表 明 动 
存 计 算 节 点 ，12 个 流 计 算 节 点 和 8 个 图 计算 节点 。 此 外 DM 态 部 署 模型 能 够 根据 计算 负载 的 变化 ， 通 过 调整 节点 来 改变 
模型 的 初始 化 形态 也 采用 该 静态 配置 方案 。 虚拟 集群 形态 。 
4.1 有 效 性 分 析 4.2 性 能 分 析 

利用 仿真 负载 来 验证 动态 部 署 模型 的 有 效 性 ， 即 能 否 根 在 本 节 对 上 述 实 验 的 性 能 结果 进行 分 析 。 由 于 仿真 负载 
据 计算 负载 变化 来 调整 虚拟 集群 的 形态 。 设 计 两 种 大 数据 计 的 作业 都 在 运行 前 期 提交 ， 实 验 只 统计 了 作业 集合 的 平均 执 
算 负载 : 第 一 种 根据 静态 部 署 节点 比例 而 设 定 的 作业 类 型 比 行 时 间 和 总 执行 时 间 。 面 对 第 一 种 仿真 负载 ， 动 态 部 署 模型 
例 ( 简 记 为 WL_S)， 其 中 批 计 算 16 个 、 内 存 计算 12 个 、 流 由 于 噪声 扰动 ， 发 生 四 次 节点 状态 调整 。 而 节点 状态 调整 造 
计算 12 个 和 图 计算 8 个 。 启 动 虚拟 集群 10 min 以 内 48 个 作 成 了 部 分 性 能 损失 ， 在 作业 平均 执行 时 间 和 总 执行 时 间 上 都 
业 全 部 进入 调度 队列 中 ， 在 各 自 节点 中 运行 约 20~30 min， 有 表现 。 对 于 第 二 种 仿真 负载 ， 由 于 计算 资源 与 作业 资源 需 
同时 并 发 调度 3 或 4 个 作业 。 第 二 种 仿真 负载 不 按照 节点 比 求 不 成 比例 ，DM 调整 虚拟 集群 的 计算 形态 来 适应 负载 的 资 
网 设 定 〈 简 记 为 WL_ D)， 其 中 批 计算 12 个 、 内 存 计 算 18 ， 源 需求 ， 计 算 性 能 的 提升 掩盖 了 节点 调整 的 性 能 损失 。 从 作 
个 、 流 计算 16 个 和 图 计算 5 个 。 在 仿真 负载 WL_D 中 降低 业 平 均 执行 时 间 和 总 执行 时 间 来 看 ， 动 态 部 署 模型 取得 较 好 
了 批 计算 和 图 计算 的 负载 量 ， 增 加 了 内 存 计算 和 流 计算 的 负 的 计算 性 能 提升 ， 作 业 平 均 执行 时 间 优 化 了 7.8%， 作 业 的 总 


载 。 


执行 时 间 优 化 了 6.5%。 两 种 负载 下 的 虚拟 和 外 


居 群 性 能 对 比如 表 


录用 定稿 捷 - 涝 等 : 
4 所 示 。 


表 4 两 种 负载 下 的 虚拟 集群 性 能 对 比 


Table 4 Performance comparison of virtual cluster 


with two different workloads 


网 WorkLoad S WorkLoad D 
性 能 指标 
sD DM sD DM 
平均 执行 时 间 /s 1530 1540 1698 1564 
总 执行 时 间 /s 7650 7716 9786 9143 


然后 从 虚拟 机 资源 利用 率 的 角度 来 对 比 两 种 方案 ， 主 要 


虚拟 节点 的 CPU 利用 率 作 为 监测 指标 ,该 监测 指标 是 所 


软件 CAdvisor 利用 Docker API 提取 的 容器 CPU 利用 
规范 化 处 理 。 CPU 


FE 业 执 行 完 毕 后 各 虚拟 节点 的 CPU 利用 率 的 平均 值 。 监控 
时 间 的 比率 。 例 如， 


利用 率 是 作业 进程 占 


系统 中 只 有 一 个 进程 运行 在 一 个 CPU 核 上 , 在 一 个 采用 周期 
(1 000 ms) 内 该 进程 占用 CPU 250 ms， 则 本 采用 周期 CPU 
利用 率 为 25%; 当 系 统 中 有 4 个 进程 运行 在 2 个 CPU 核 中 ， 
每 个 进程 占用 CPU 核心 250 ms， 这 时 采集 到 的 CPU 利用 率 
为 100%。 由 于 有 两 个 核心 ， 规 范 处 理 为 50%。 
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图 5 计算 负载 WL _D 各 类 节点 CPU 利用 率 对 比 


Fig.$ Comparison of CPU utilization rate of workloads WL D 
如 图 5 所 示 , 在 负载 WL_D 中 虚拟 集群 是 减少 了 批 计算 


与 图 计算 节点 的 数量 ， 将 这 片 节点 转换 为 内 存 计算 和 流 计 算 
节点 ， 因 此 明显 提高 了 批 计算 和 图 计算 节点 的 CPU 利用 率 ， 
同时 降低 了 内 存 计算 和 流 计算 的 负载 压力 ， 这 点 可 以 从 内 存 
计算 和 流 计算 节点 CPU 利用 率 降 低 体现 出 来 。 


5 


虑 


A 


结束 语 
虚拟 集群 的 动态 配置 能 够 产生 更 灵活 的 作业 执行 环境 。 


轻 量 级 Docker 容器 技术 具有 较 小 的 启动 代价 , 因此 从 技术 上 
允许 动态 部 署 虚 拟 机 或 者 实时 调整 虚拟 执行 环境 。 在 此 研究 


以 集群 针对 多 种 模式 混合 的 大 数据 计算 负载 ， 实 时 调整 计 


析 。 


资源 需求 和 系统 的 运行 信息 来 
则 实施 节点 调整 , 最 终 将 部 署 执行 计划 转换 成 Docker Swarm 
的 命令 脚本 。 目 前 动态 部 署 系统 需要 将 各 种 计算 模式 节点 的 
Docker 映像 文 伯 
代价 损失 。 最 后 仿真 
源 配 
并 且 提 高 了 计算 作业 的 执行 效率 。 然 而 还 没有 考虑 虚拟 层 资 
源 和 物理 层 资 源 的 ] 


性 问题 ， 特 别 是 不 同 网 络 拓扑 下 的 扩展 性 


区 态 的 部 署 策略 、 方 案 和 系统 设计 。 根 据 用 户 提交 的 作业 
触发 部 署 事件 ， 再 根据 部 署 规 


证 


本 地 化 存储 ， 并 未 考虑 映像 文件 远程 管理 的 
负载 表明 ， 当 负载 的 资源 需求 与 现 有 资 
不 匹配 时 ， 容 器 节点 的 CPU 利用 率 能 得 到 有 效 优化 ， 


匀 衡 问题 ， 以 及 动态 部 署 稳 定性 的 量化 分 
下 一 步 将 深入 研究 动态 部 署 稳定 性 分 析 ， 以 及 系统 扩展 
完 。 
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